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摘 要 : 为 了 及 时 了 解 基于 TransE 的 表示 学 习 方 法 的 最 新 研究 进展 ， 该 文通 过 归纳 与 整理 ， 将 基于 TransE 的 表示 

学 习 方法 分 为 基于 复杂 关系 的 方法 、 Eq c pnm. 基于 图 像 信 息 的 方法 ， 以 及 基于 其 他 方面 的 方法 这 4 种 
类 型 。 对 每 一 种 方法 的 设计 思路 、 优 缺点 等 进行 了 详细 的 分 析 。 同 时 ， 对 基于 TransE 的 表示 学 习 方 法 的 公共 数据 集 

与 评价 指标 进行 了 对 比 、 总 结 ， 以 及 对 各 种 基于 TransE 的 表示 学 习 算 法 在 实验 中 的 表现 进行 了 对 比分 析 。 最 后 ， 对 

全 文 的 研究 进行 了 总 结 ， 对 今后 研究 的 热点 进行 了 展望 。 从 研究 结果 来 看 ，PaSKoGE 方法 、NTransGH 方法 、TCE 
方法 、TransD 方法 在 做 链接 预测 和 三 元 组 分 类 任务 上 表现 效果 最 好 ， 值 得 推广 和 进一步 拓展 ， 并 可 在 其 特定 于 路 径 

的 瞬 入 、 两 层 神经 网 络 、 三 元 组 上 下 文 、 动 态 构 造 映射 矩阵 上 进一步 完善 
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Abstract: In order to understand the latest research progress of TransE based representation learning methods in real time, 
this paper classifies TransE based representation learning methods into four types: the method based on complex relationship, 
the method based on relationship path, the method based on image information, and the method based on other aspects. Then, 
this paper analyzes the design ideas, advantages and disadvantages of each method. At the same time, it compares and 
summarizes the common data sets and evaluation indexes of the TransE based representation learning method, as well as the 
performance of various TransE based representation learning algorithms in the experiment. Finally, this paper summarizes the 
research of the whole paper and looks forward to the future research hotspot. From the research results, PASKoGE method, 
NTransGH method, TCE method and TransD method perform the best in link prediction and triple classification tasks, which 
are worth promoting and further expanding, and can be further improved in path specific embedding, two-layer neural network, 
triple context and dynamic mapping matrix construction. 
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0 ”引言 表现 出 了 很 好 的 效果 ， 日 这 种 方法 参数 少 ， 操 作 简 单 。 但 
i 是 ，TransE 方法 在 处 理 复杂 关系 时 存在 准确 度 不 高 的 问题 

近年 来 ， 受 到 词 向 量 模型 的 启发 ， 以 翻译 模型 为 代表 的 例如 在 处 理 一 对 多 、 多 对 一 、 多 对 多 和 自 反 等 复杂 关系 时 ， 

表示 学 习 在 知识 图 谱 (knowledge graph, KG) 领 域 越 来 越 受 到 TransE 方法 不 能 精准 推算 出 具有 相同 关系 的 实体 [1。 
人 们 的 关注 。 知 识 表 示 指 的 是 通过 将 符号 化 的 三 元 组 (41?) TransE 方法 优化 问题 一 直 都 是 学 者 们 和 争 相 研究 的 热门 话 
映射 到 低 维 稠密 的 向 量 空间 ,便于 实体 与 关系 之 间 的 计算 3。 题 , 每 年 都 会 有 许多 新 奇 的 模型 出 现 027151。 该 文 以 TransE 77 
在 这 种 向 量 空 间 中 , 通过 计算 实体 (关系 ) 对 象 间 的 距离 ,从 而 法 存在 的 问题 为 分 类 原则 , 将 基于 TransE 的 表示 学 习 方 法 的 
E 理 出 实体 (关系 ) 对 象 的 语义 相似 度 ， 能 够 高 效 解 决 数据 稀 综述 文献 分 为 4 类 : 第 一 类 是 基于 复杂 关系 的 方法 的 综述 ,如 
玖 的 难题 ， 使 得 知识 获取 和 知识 推理 变 得 更 加 容易 与 精准 作 STransH、 TransD,. NTransGH, TransGraph. TransAHl6-131; 
31, 同时， 知识 表示 学 习 的 研究 能 够 服务 于 实体 对 齐 、 事 件 抽 第 二 类 是 基于 关系 路 径 的 方法 的 综述 ,如 PTransE 、 

取 ， 以 及 问答 系统 等 应 用 之 中 ， 拥 有 非常 广阔 的 前 景 叶 。 PaSKoGEU?. 2 各 ， 第 三 类 是 基于 图 像 信 息 方 法 的 综述 ， 如 
考虑 到 知识 表示 的 广泛 应 用 前 景 ， 学 者 们 相继 提出 了 很 ITMEA、TCEPL23; 第 四 类 是 其 他 方面 的 方法 综述 请， 如 
多 的 知识 表示 模型 ,例如 距离 模型 (structured embedding, SE), TransRDP9!, TransE-SNSU"l, AST NZLP9!, GTrans??], 与 其 
单 层 神经 网 络 模型 (single layer model, SLM). i& X. 8e lU Wc 


KE 


0 ”他 知识 表示 综述 相 比 ， 本 文 的 主要 贡献 如 下 : 
模型 (semantic matching energy, SME)、 张 量 分 解 模 型 、 基 于 翻 han TransE 的 表示 学 习 方 法 的 算法 思想 、 优 缺点 
译 的 模型 等 中 。 在 这 些 经 典 方法 中 ， 以 TransEI 为 代表 的 翻 进行 A, 并 对 其 进行 了 较为 全 面 、 合 理 的 分 类 与 总 结 B030; 
译 模型 最 受到 人 们 的 重视 ， 成 为 当下 研究 的 热点 。TransE 模 TransE 表示 学 习 方 法 存在 的 问题 进行 了 较为 细致 
型 是 Bordes 在 2013 年 提出 来 的 ， 这 种 方法 在 链接 预测 方面 的 分 析 与 概述 ; 
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c) 对 基于 TransE 的 表示 学 习 算 法 常用 的 实验 数据 集 、 
算法 性 能 评价 指标 进行 了 分 析 与 总 结 ; 对 每 类 问题 页 中 算法 的 
主要 指标 进行 了 对 比分 析 ， 并 找 出 了 可 以 继续 推广 和 扩展 的 


nen, 
d) 分 析 与 总 结 了 基于 TransE 的 表示 学 习 算法 中 当前 存 
在 的 问题 ， 已 经 解决 的 问题 ， 以 及 未 来 的 可 能 研究 点 B3。 


1 TransE 表示 学 习 方法 概述 


TransE 方法 解决 的 是 在 低 维 向 量 空间 中 先入 实体 和 多 关 
系数 据 的 关系 的 问题 ， 是 一 种 通过 将 关系 解释 为 对 实体 的 低 
维 嵌入 进行 操作 的 转换 来 对 关系 进行 建 模 的 方法 64 35]。 通 过 
对 这 种 方法 的 基本 原理 、 优 缺点 ， 以 及 算法 的 分 析 ， 可 以 加 
深 对 其 作用 机 理 的 认识 。 
1.1 TransE 方法 概述 

TransE 是 知识 表示 翻译 模型 中 非常 经 典 的 方法 , Trans 系 
列 的 方法 是 在 TransE 的 基础 上 扩展 的 。 在 TransE 中 ， 实 体 
和 关系 被 映射 到 向 量 空间 ， 实 体 和 关系 的 表示 变 成 了 向 量 之 
间 的 表示 B4 371, TransE 的 主要 思想 是 把 三 元 组 arn 中 的 关 
系 等 价 于 从 头 实体 向 量 到 尾 实体 向 量 的 操作 过 程 ， 这 种 操作 
过 程 称 为 翻译 B8& 39]。 同 时 ，TransE 还 对 三 元 组 ,ri?) 中 的 实 
体 和 关系 映射 到 向 量 空间 作 了 一 些 假设 (如 图 1 所 示 )， 假 设 
每 一 个 三 元 组 hrt 都 能 表示 为 
(rf) a) 
其 中 ,天 指 代 头 实体 的 向 量 表示 ; 了 指 代 关 系 的 向 量 表示 ，+ 
指 代 尾 实体 的 向 量 表示 , 式 (1) 表 示 的 含义 是 : 在 向 量 空间 中 ， 
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—MÁ ! 6 6 
:initialize r- uniform( -一 ,一 )for each reL 
Jk ie j 


[my 


2:n«—r/|r|for each reL 
3:eL uniform(. 9. 6. )for each entity e <E 
Vk Vk 
4:1oop 
5:e«—e/|e| for each entity eeE 
6: Span «- sample(S,b) | |sample a minibatch of size b 
7:T,,,«- 0 //initialize the set of pairs of triplets 
8:for (h,r,t)e UN do 
9: (h',r,t') | sample (Sa, )//sample a corrupted triplet 


10: Ton © Taen Y CEU FEE) oce ))} 
11:end for 
12:Update embeddings w.r.t 


$3 Viy+d(h+r,t)-d(h'+ r,t], 


(Rr, trs) 


13:end loop 
1.2 TransE 方法 的 优 缺 点 
TransE 的 提出 是 为 了 解决 多 关系 数据 的 处 理 问题 ,是 一 
种 简单 、 高 效 的 KG 表示 学 习 方 法 ,并 且 能 够 完成 多 种 关系 的 
链接 预测 任务 ^l, TransE 的 简 Mm f KG 表示 学 习 


方法 能 够 自动 且 很 好 地 捕捉 推理 特征 ,无 须 人 工 设计 ,很 适合 
在 大 规模 复杂 的 KG 上 推广 ,是 一 种 有 效 的 KG 推理 手段 。 尽 
TransE 依然 存在 着 表达 能 力 不 足 的 问题 ,按照 关系 头 


实体 个 数 比 例 划分 ,KG 中 的 关系 可 以 分 为 四 种 类 型 ,分 别 


头 实体 向 量 加 上 关系 + 应 该 等 于 尾 实体 向 量 +。 如 果 在 向 量 


对 对 多 、 多 对 一 、 多 对 多 的 关系 ,但 是 TransE 无 法 


空间 上 述 式 子 成 立 , 那么 , 就 说 明 三 元 组 61 在 KG 中 是 成 


立 的 。 根 据 这 种 假设 TransE 模型 的 训练 需要 满足 以 下 条 件 : 

对 正 样 本 三 元 组 : herzt (2) 

对 负 样 本 三 元 组 : h+rzt (3) 
A 


图 1  TransE 向 量 空 间 假设 
Fig.1 Transe vector space hypothesis 
在 式 (2)(3) 中 ，h+r 与 1 的 关系 表示 近似 等 价 于 向 量 相似 
度 。 对 于 向 量 相似 度 ，TransE 采用 的 方法 是 计算 欧式 距离 ， 


得 分 函数 如 下 
fart =h r-t, (4) 
得 分 函数 值 越 小 ， 对 正 样本 三 元 组 越 有 利 ， 得 分 函数 值 
越 大 ， 对 负 样 本 三 元 组 越 有 利 。 接 着 ，TransE 通过 损失 函数 
测试 表示 学 习 的 效果 ， 设 计 的 损失 函数 如 下 : 
L= 2 M fd) fr, (5) 


(hrt)es (hrt)es uua) 


在 式 (5) 中 ，S 指 的 是 正 样本 的 集合 S%i 指 的 是 三 元 组 
hrd 的 负 样 本 。KG PEZH hrd 的 负 样本 是 通过 随机 蔡 
换 头 实体 nh， 或 者 尾 实体 +， 进 行 大 量 的 训练 得 到 的 。[J, 指 
的 是 max(0,) ; 7 指 的 是 损失 函数 中 的 间隔 , 这 个 参数 需要 满 
足 大 于 零 的 条 件 。TransE 通过 不 断 训练 ， 算 法 的 优化 ， 可 以 
使 损失 函数 达到 最 小 值 。 

算法 1 Learning TransE 
input Training set S={(h,r,t)}» entities and rel. sets E 


and L, margin y, embeddings dim. k. 


有 效 处 理 一 对 多 、 多 对 一 、 多 对 多 的 关系 ,以 及 自 反 关 系 。 此 
外 ,TransE 通过 最 小 化 所 有 关系 路 径 共享 的 余 量 损失 函数 , 来 
确定 实体 、 关 系 和 多 步 关 系 路 径 , 此 设置 无 法 考虑 不 同 关 系 路 


径 之 间 的 差异 所 。 同 时 ,TransE 模型 还 存在 处 理 图 像 信息 效果 
差 、 负 例 三 元 组 的 质量 低 、 嵌 入 模型 不 能 快速 收敛 、 泛 化 能 


力 差 、 边 缘 识 别 能 力 差 等 问题 。 
2 基于 TransE 的 表示 学 习 方 法 


针对 TransE 表示 学 习 方 法 存在 的 不 足 , 大 量 的 研究 者 尝 
试 建立 不 同 的 模型 去 对 TransE 表示 学 习 方法 进行 优化 。 其 中 ， 
绝 大 多 数 的 研究 者 集中 在 基于 复杂 关系 的 方法 、 基 于 关系 路 
径 的 方法 、 基 于 图 像 信息 的 方法 ， 少 数 的 研究 者 集中 在 其 他 
方面 的 方法 。 
2.1 基于 复杂 关系 的 方法 

复杂 关系 的 问题 指 的 是 TransE 无 法 有 效 处 理 一 对 多 、 多 
对 一 、 多 对 多 的 关系 ,以 及 自 反 关系 。 对 于 这 个 问题 ， 有 不 少 
学 者 提出 了 一 些 比较 经 典 的 方法 ,例如 TransR 方法 、TransH 
方法 、TransA 方法 由 ]。 对 于 处 理 复杂 关系 的 问题 ， 常 规 的 解 
决 思路 是 对 实体 和 关系 在 向 量 空间 进行 投影 ， 再 计算 损失 函 
数 来 推算 实体 和 关系 的 语义 联系 [得 。 但是， 这 在 处 理 链 接 预 
测 和 三 元 组 分 类 任务 时 会 遇 到 效率 低下 的 问题 
针对 TransE 方法 不 能 很 好 处 理 实体 之 间 复 杂 关 系 的 问 
题 ， 目 前 ， 在 链接 预测 和 三 元 组 分 类 任务 做 得 比较 好 的 主要 


有 五 种 解决 方法 : 岁入 单 层 神经 网 络 的 方法 、 构 造 映射 矩阵 
的 方法 、 构 建 广 义 超 平面 翻译 机 制 的 方法 、 购 入 交叉 训练 机 
制 的 方法 、 舱 入 超 平面 模型 的 方法 。 


组 入 单 层 神经 网 络 的 方法 简称 STransH Hm 算法 思想 
是 : 分 别 在 实体 空间 和 关系 空间 建 模 ， 并 采用 单 层 神经 网 络 
的 非 线 性 操作 来 加 强 实 体 和 关系 的 语义 联系 。 同 时 ， 受 
TransH 模型 的 启发 ， 引 入 投影 到 特定 关系 超 平面 的 机 制 ， 使 
得 实体 在 不 同 的 关系 中 有 不 同 的 角色 。 这 种 方法 的 优点 是 引 
入 投影 到 特定 关系 超 平 面 的 机 制 ， 好 处 是 使 得 实体 在 不 同 的 
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录用 定稿 


关系 中 有 不 同 的 角色 ， 旬 


构造 映射 矩阵 


TransD 方法 中 


构造 映射 矩阵 


2)。 这 种 方法 的 优点 是 提 
TR 
缺点 是 忽略 了 关系 的 内 在 相关 性 


是 提供 


了 一 种 灵活 


FI 


， 使 用 
和 关系 ), 第 一 个 表示 一 个 实体 ( 
o 不仅 考虑 关系 的 多 样 : 


张 正 航 ， 


点 是 没有 将 关系 路 径 考虑 在 内 。 


的 方法 简称 TransD 方法 ， 
个 向 量 来 表示 命名 的 符号 对 象 ( 实 
关系 ) 的 含义 , A 
ME, 而 且 考 虑 实 
出 一 种 动态 变化 矩阵 的 方法 ， 好 处 


算法 思想 是 : 在 
体 
个 用 于 动态 
本 ( 见 图 


fF 式 来 将 实体 表示 投影 到 关系 向 量 空间 ; 
E, 参数 过 多 ,知识 共享 困难 。 


想 


为 
的 
的 


EO na 


等 : 基于 TransE 的 表示 学 习 方 法 研究 综述 


ChinaXiv 合 作 期 刊 


第 38 卷 第 3 期 


pa 
y 


了 实现 
基础 上 ， 给 出 了 
优点 是 


等 信息 。 


幅 入 超 平面 模型 的 方法 简 


用 随机 梯度 
H. ENR 
网 络 结构 信 
一 个 向 量 
融合 了 KG 的 网 络 结构 特征 ， 
缺点 是 忽 


降 方 法 来 求解 目标 函数 工 的 最 优化 问 
了 向量 和 参数 的 更 新 。 在 这 种 方法 中 ， 
息 和 三 元 组 信息 的 深度 融合 ， 在 TransE 
k 享 的 交叉 训练 机 制 。 这 种 方法 
好 处 是 进一步 增强 了 


各 了 实体 的 描述 文本 和 互联 网 文 


aR TransAH 方法 ,算法 思想 是 : 


TransD 模型 的 映射 函数 为 首先 建立 特定 关系 的 超 平 面 模型 ， 其 次 ， 将 三 元 组 中 的 头 实 

M m = r,hp Don (6 ， 体 与 尾 实 体 庶 入 到 这 种 超 平面 ， 从 而 进行 实体 关系 的 推理 。 

M, ri I (7) ”这 种 方法 的 优点 是 引入 面向 特定 关系 的 超 平面 模型 ， 好 处 是 

在 式 (6)(7) 中 ，7” 是 单位 矩阵 ， 头 实体 和 尾 实体 分 别 用 以 有 效 表 征 复杂 关系 ; 缺点 是 没有 考虑 在 文本 关系 知识 中 的 
两 个 不 同 的 映射 矩阵 MuR MW, 进 行 投影 ， 头 实体 的 映射 矩阵 抽取， 以 及 实体 聚 类 等 方面 的 任务 。 

FLOS AS] n 与 头 实体 映射 向 量 记 共同 决定 ; 尾 实 体 的 映射 对 于 复杂 关系 问题 ，STransH 方法 、TransD 方法 、 

和 矩阵 由 关系 向 量 与 尾 实体 映射 向 量 如 共同 决定 ， 映 射 后 得 NTransGH 7; iX. TransGraph 方法 、TransAH 方法 都 表现 了 很 

到 的 头 实体 和 尾 实体 向 量 分 别 是 好 的 效果 。 其 中 ，STransH 方法 采用 单 层 神经 网 络 的 非 线性 

h 2 Mh (8) ”操作 来 加 强 实体 和 关系 的 语义 联系 ， 然 而 ， 这 样 做 之 后 预测 

= Mt O ”复杂 关系 仍然 很 弱 ， 再 加 上 了 超 平 面 模型 后 预测 效果 才 得 到 

TransD 模型 的 损失 函 me 了 显著 提升 ， 这 种 方法 扩展 性 好 ， 定 的 研究 价值 ， 同 

Be qo) 。 时 , 可 以 结合 其 他 的 翻译 模型 提高 预测 性 能 。 对 于 TransD Jr 

法 ， 用 一 个 与 实体 相关 的 向 量 以 及 一 个 与 关系 相关 的 向 量 通 

1 1 过 外 积 计算 ， 动 态 地 得 到 关系 投影 矩阵 ， 这 种 方法 不 仅 可 以 

Cty | 显著 减少 关系 数量 较 大 且 实 体 数 量 不 多 的 KG 中 的 参数 ， 而 

hà eh, Mo ore | n PUN, 且 增加 了 TrasnD 捕捉 全 局 特征 的 能 力 。 对 于 NTransGH J7 

my 965i Mom niei t ets 法 ， 核 心 是 采用 两 层 神经 网 络 来 定义 一 个 得 分 函数 ， 当 前 ， 

p xu — dA» Lev erts 利用 神经 网 络 来 改变 TransE 预测 的 性 能 已 经 成 为 一 种 趋势 ， 

m ~ 4 寻 此 ， 拥 有 很 广阔 的 发 展 空 间 。 对 于 TransGraph 方法 ， 核 心 

> > 是 给 出 了 一 个 向 量 共享 的 交叉 训练 机 制 ， 这 种 思想 是 首次 运 

(a) 实体 表示 空间 (b) 关 系 表示 空间 JÆ TransE 中 ,值得 借鉴 。 对 于 TransAH 方法 , 今后 需要 加 


图 2 TransD 实体 表示 空间 和 关系 表示 空间 


Fig.2 Transd entity representation space and relationship 


构建 广义 超 平 


思想 是 : 


的 翻译 机 制 ， 


FIRR 


的 实验 。 
函数 ， 好 处 是 以 
操作 


络 。 


这 种 方法 上 


ii EH PEU: 
结合 用 于 将 关系 建 模 为 


Tepresentation Space 


1 的 方法 简称 NTransGH 方法 ， 


PR T fi 
经 网 络 ， 对 两 个 数 扩 


] 


虽 集 的 链 
无 点 是 引入 了 两 层 


EX 


便 找 到 
的 参数 偏 多 。 
NTransGH 首先 利用 广义 超 平面 


于 计算 机 的 


上 获 实体 与 关系 之 
接 预 测 和 三 习 


基于 TransH 使 月 


的 翻译 机 制 ， 然 后 设计 
LA v. op 
一 组 3 


F 建 模 平 移 操作 ， 如 


间 更 
分 类 进行 两 项 任务 


在 的 翻译 操作 
复杂 交互 的 神 


网 络 来 定义 得 分 


RERA; 缺点 是 需要 


将 关系 建 模 为 翻译 操作 
个 用 于 捕获 复杂 关系 模式 的 4 


经 网 


区 


来 确定 广义 超 平 


个 两 


ÆRA. B 


3(b) 


三 元 组 (h,n,t)， 在 翻译 短 i 
PERAE UEFI 
是 ， 这 会 导致 需要 操作 的 参数 偏 多 。 


t ts 


a) TransH 


个 得 分 函数 ， 


Ern, 


Translation 


。 为 了 表示 复杂 关系 ， 
层 神经 网 络 来 定义 一 
所 示 NTransGH 的 基本! 


3(a) 所 示 , NTranGH 
基 向 量 而 不 是 TransH 中 的 一 个 法 向 量 
NTransGH 引入 了 一 
以 寻找 复杂 关系 的 低 


E, 路 是 , 对 于 给 
NTransGH 首先 用 一 组 基 向 量 
MERKIR h RU tN h $n, [H 


5 x DH 


Scoring 


(b) NTransGH 


图 3 TransH 和 NTransGH 的 简单 可 视 化 
Fig.3 Simple visualization of transh and ntransgh 
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强 


系 
Be 


的 
在 


在 
方 


将 


的 点 在 于 实 


关系 路 径 


RA — 


都 


KZ 


体 聚 类 任务 方面 。 
2.2 基于 关系 路 径 的 方法 
问题 指 的 是 知识 库 的 表示 学 习 则 在 将 实体 和 关 
空间 ，TransE 方法 仅 在 表示 学 习 中 考虑 ] 


H. 


关系 ， 多 步 关 系 路 径 还 包含 实体 2 
考虑 不 同 关系 路 径 之 间 的 差异 
关系 路 径 优化 是 最 近 志 


文献 来 看 ) Rl 
链接 ] 


预测 和 三 元 组 


间 的 丰富 推理 模式 ， 没 
。 针 对 这 个 问题 ， 从 收集 
究 的 热点 ， 但 是 ， 
改 得 比较 好 的 方法 却 比 较 少 。 


45] 


分 类 任务 上 


针对 
链接 


TransE 方法 不 能 很 好 解决 关系 路 径 的 问题 ， 
Trid Rl — 762 


前 ， 
比较 好 的 主要 有 两 种 解决 


8 分 类 任务 做 得 


关系 路 


法 : 路 径 的 表示 学 习 方法 、 特 定 于 路 径 的 嵌入 方法 。 

路 径 的 表示 学 习 方 法 简称 PTransE 方法 ， 
径 视 为 实体 之 间 的 转换 ， 
骨 入 的 语义 组 成 来 表示 关系 路 径 。 
路 径 连接 的 实体 对 从 知识 库 中 构建 三 元 组 ， 好 处 是 便 


Ap 想 是 : 
以 进行 表示 学 习 ， 通 过 关 
这 种 方法 的 优点 是 使 用 


FIRR 


选择 用 于 表示 学 习 的 可 靠 关 系 路 径 ; 
系 与 关系 之 间 的 推理 


: 对 于 每 个 路 径 ， 


特定 于 路 径 的 嵌入 方法 简称 PaSKoGE 方法 ， 


缺 点 是 只 考虑 直接 关 
模式 ， 没 有 考虑 关系 之 间 有 许多 复杂 的 


算法 思想 


它 通 过 对 任何 给 定 实体 对 的 关系 和 多 步 


际 
方 


缺点 是 需要 花费 更 多 
PaSKoGE 的 边界 变化 


Y [Er += Lọ R(p/ tH, ] 
i Z pes, 


RHIZ 
的 损失 函数 。 


间 的 相关 性 进行 
这 种 方法 的 优点 是 提出 了 特定 于 路 径 的 由 
法 ， 好 处 是 对 于 每 


编码 ， 来 自 适应 地 确定 其 基于 边 


条 路 径 ， 它 分 别 自 适 应 地 确定 


向 全 
村 


的 时 间 来 另外 计算 路 径 特 
目标 函数 为 


XE Rf 


(hri)ed 


= Y (Matr-tlty lh er tl) 
(hrt A $ 


202009.00121v1 
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录用 定稿 


Hh, tx 


r RERE PULLDIITAS h, CRI FB 
WA, l 返回 x 到 0 之 间 的 最 大 值 ; MER L T CERE L, i 


张 正 航 ， 等 : 基于 TransE 的 表示 学 习 方 法 研究 综述 


数 ; P opi 是 将 正三 元 组 与 负 三 元 组 


分 离 的 最 佳 裕 度 , ETT 


[F 


Ev 


与 TransA 相同 。 学 习 过 程 采 上 
三 元 组 随机 遍历 多 次 。 当 正三 元 组 被 访 
hr t 通过 将 (hyn,t) 的 三 个 分 量 
他 实体 或 关系 来 随机 构造 。 此 外 ， 
之 间 任 意 长 度 的 关系 路 径 ， 需 要 鸡 
系 路 径 之 间 的 相关 关系 进 


随机 梯度 下 


的 一 个 蔡 换 为 KG 中 的 其 
给 定 头 部 实体 和 
| 关系 和 连接 它们 的 多 步 关 


行 建 模 ， 这 需要 花费 更 多 的 时 间 。 


H 


降 SGD 方法 ，] 
JH. fi = 7652 


Bn 


尾部 实体 


总 体 来 看 , PTransE 方法 和 PaSKoGE 方法 都 能 很 好 解决 


TransE 存在 的 关系 路 径 问 题 ,只 是 每 种 方法 的 侧重 点 不 一 样 。 
其 中 , PTransE 方法 侧重 于 将 关系 路 径 视 为 实体 之 间 包 
以 及 通过 路 径 约束 资源 分 配 来 衡量 关系 路 径 的 可 靠 性 ， 而 


PaSKoGE 方法 侧 和 了 


于 通过 最 小 化 KGE 


的 基于 路 径 的 特定 边 


距 损 失 函 数 来 学 习 实 体 ， 关 系 和 多 步 关 系 路 径 的 表示 。 从 目 


2.3 ”基于 图 像 信息 的 方法 


TransE 模型 在 模型 学 习 


组 ， 但 是 ， 这 样 


元 组 之 间 的 大 量 链 接 都 无 法 


于 这 样 的 


为 了 解决 此 问题 ,而 
型 的 有 ITMEA 方法 、TCE 方法 。 
ITMEA 方法 的 核心 是 使 用 多 模 态 实体 对 齐 。 算 法 思想 是 : 
届 ， 采 用 翻译 嵌入 模型 TransE 与 


KEZES XF 


于 关系 路 径 是 研究 的 热点 ， 
然 拥有 很 大 的 发 展 空间 。 


期 间 将 KG 视 为 一 组 独立 的 三 元 
使 得 图 结构 中 包含 的 实体 特征 信息 ， 以 及 三 


因此 ， 这 两 种 方法 仍 
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[| 


limy 


上下文 可 以 被 认为 是 在 


使 得 模型 能 预测 图 形 结构 中 包 


乡 中 体现 了 它 


的 周转 


结构 ， 


含 的 信息 。 


在 分 数 函 数 中 引 


©) 


了 三 重 上 下 文 ,给 定 一 个 候选 三 元 组 (h,n,t), 分 数 函 数 是 给 
三 重 上 下 文 和 所 有 嵌入 的 条 件 概 率 ， 可 以 形式 化 为 
f, r,t) = PG, r | COs rt); 


(14) 


在 式 (14) 中 ，C(hnpb 是 (rzb 的 三 重 上 下 文 。 通 过 最 大 化 


K 中 所 有 三 元 组 的 联合 概率 来 定 
示 为 


X 


个 


P(K|9)- » II fa. r,t) 


最 后 ， 用 式 (16) 合 并 邻居 上 下 文 和 三 重 路 径 


标 函 数 ， 它 可 以 表 


(15) 
EFX: 


f(h,r,t) ~ P(h| Cy (h); O) - P(t 


C,(h,t),h,©)- P(r h 


£0) (16) 


总 体 来 看 ， 无 论 是 ITMEA 


理 图 像 信息 问题 时 都 各 自 具 有 上 


,的 优势 。 其 中 


法 的 优势 是 使 多 模 态 数据 能 够 嵌入 到 
著 加 强 多 模 态 数据 的 嵌入 ;，TCE 


方法 ， 还 是 TCE 方法， 在 处 


，ITMEA 方 


氏 维 语义 空 
方法 的 优势 是 


间 ， 进 而 显 
能 很 好 利用 


KG 中 的 结构 ， 特 别 是 三 元 组 周 目 


的 局 部 结构 ， 


上 下 文 的 表示 学 习 。 目 前 ， 图 像 
注 的 重点 ， 弥 补 这 两 种 方法 的 局 


了 效 利 月 


月 。 同 时 ，TransE 模型 基 
Bux: KG 是 一 组 单独 的 三 元 组 ， 往 往 关 注 文本 信 


2.4 基于 其 他 方面 的 方法 


进而 加 强 图 


Ty æ 


息 问 题 依 然 是 
限 性 将 是 今后 的 


研究 者 们 关 
研究 方向 。 


TransE 方法 除了 存在 以 上 的 几 种 比较 常见 的 问题 外 ， 还 


息 而 忽视 图 像 信 息 ,导致 图 像 中 实体 特征 信息 未 被 有 
完 者 们 提出 了 不 少 新 颖 的 方法 


效 利用 。 


存在 其 他 的 一 些 问题 ， 


针对 这 些 问 题 ， 从 收集 的 文献 来 看 ， 只 


取得 实质 性 研究 成 果 
很 大 的 发 展 空间 。 


行 了 研究 ， 
的 研究 拥 


动态 映射 矩阵 租 入 模型 TransD 相 结 合 的 知识 表示 学 习 模 型 ， 


使 多 模 态 数据 能 够 嵌入 到 低 维 


语义 空间 。 


在 低 维 


语义 空间 中 


元 组 关系 的 数量 越 多 ， 典 入 的 效 


泛 化 能 力 差 的 问题 指 的 是 在 
果 就 越 好 ， 但 是 


例如 泛 化 能 力 差 、 生 成 的 负 例 三 元 组 
大 部 分 都 是 低 质 量 的 、 不 能 快速 收敛 、 边 缘 识 别 能 力 弱 等 。 


少数 的 
的 也 比较 少 。 


| 练 过 程 中 ， 如 


关系 的 数量 比较 少时 ， 意 味 着 只 


有 很 少 的 三 元 组 关系 会 被 映 


学 者 对 其 进 
此 ， 这 方 H 


果 KG 中 三 


RIA 


， 当 三 元 组 


迭代 地 学 习 种 子 集合 中 己 对 齐 多 模 态 实体 之 间 的 链接 映射 关 — 射 到 和 矩阵 中 ， 造 成 更 新 的 次 数 偏 低 ， 贬 入 效果 差 ( 昌 。 针 对 
系 ， 并 将 学 习 到 的 关系 应 用 到 未 对 齐 实体 上 ， 从 而 实现 多 模 。 ”TransE 还 存在 泛 化 能 力 差 的 问题 ， 目 前 ， 在 链接 预测 和 三 元 
态 数据 的 实体 对 齐 。 然 而 ， 这 种 方法 也 存在 一 些 局 限 性 ， 例 ”组 分 类 任务 做 得 比较 好 的 主要 有 一 种 解决 方法 ， 即 嵌入 不 对 
如 对 迭代 过 程 中 新 找到 的 对 齐 实体 未 进行 置信 和 度 评估 ， 和 迭代 ”等 转换 矩阵 方法 。 骸 入 不 对 等 转换 矩阵 方法 简称 TransRD 77 
效果 偏 低 。 法 ， 算 法 思想 是 : 先 对 头 尾 实体 进行 投影 ， 并 在 其 中 舱 入 不 
TCE 方法 的 核心 是 利用 三 元 组 上 下 文 。 算 法 思想 是 : 定 对 等 转换 矩阵 。 此 外 ， 通 过 ADADELTA 算法 调整 学 习 率 ; 
义 由 邻居 上 下 文 和 路 径 上 下 文 组 成 的 三 重 上 下 文 ， 并 定义 一 接着， 将 关系 进行 分 组 ， 对 每 组 的 关系 都 是 采用 投影 矩阵 完 
个 函数 来 评估 三 重 上 下 文 与 其 上 下 文 之 间 的 相关 性 ， 而 不 是 ”成 信息 的 共享 。 这 种 方法 的 优点 是 使 用 同一 对 投影 矩阵 来 捕 
单独 使 用 每 个 三 元 组 ; 将 三 元 组 上 下 文 合并 到 评分 函数 中 ， 获 关 系 ， 好 处 是 通过 建 模 关系 之 间 的 内 在 相关 性 来 改善 泛 化 
该 函数 用 于 评估 三 元 组 的 置信 度 。 对 于 每 个 三 元 组 ， 在 图 中 ”能 力 差 的 问题 ,缺点 是 没 很 好 利用 KG 中 的 关系 路 径 信 息 。 
将 两 种 结构 信息 视 为 其 上 下 文 : 一 个 是 实体 的 传 出 关系 和 相 TransE 生成 的 负 例 三 元 组 大 部 分 都 是 低 质量 的 问题 指 的 
邻 实 体 ， 另 一 个 是 一 对 实体 之 间 的 关系 路 径 ， 两 者 都 反映 了 是 ， 在 进行 知识 图 谱 艇 入 (knowledge graph embedding, KGE) 
三 元 组 的 各 个 方面 。 三 元 组 及 其 上 下 文 在 统一 框架 中 表示 ， 的 模型 训练 时 ， 会 删除 正 例 三 元 组 中 的 头 实体 或 者 尾 实体 ， 
这 样 可 以 体现 三 元 组 上 下 文中 的 结构 信息 ( 见 图 4)。 然 而 , 此 ”再 从 实体 集中 随机 选择 一 个 实体 进行 补充 ， 用 来 生成 负 例 三 
方法 也 存在 一 些 缺 陷 ， 例 如 在 基线 上 不 如 经 典 的 翻译 模型 。 元 组 ， 而 生成 的 这 些 负 例 三 元 组 很 多 都 是 低 质量 的 。 对 于 这 
" 个 问题 ， 目 前 ， 在 链接 预测 和 三 元 组 分 类 任务 做 得 比较 好 的 
T e; 主要 种 解决 方法 ， 即 采用 K-means 聚 类 算法 ， 这 种 算法 
er 人 z 简称 TransE-SNS 方法 ， 算 法 思想 是 : 先 利用 K-means RK 
n y Ron 算法 对 KG 中 的 实体 进行 分 组 ， 其 次 ， 随 机 从 正 例 三 元 组 中 
h \------ P+- sal de Jena es 选择 一 个 实体 去 换 头 实体 ， 尾 实体 也 是 采用 同样 的 方法 进行 
JY Re eS 替换 。 这 种 方法 的 优点 是 相似 性 负 采 样 与 TransE 模型 相 结合 ， 
本 et r4, 好 处 是 提高 了 蔡 换 实体 与 被 替换 实体 间 的 相似 性 ， 缺 点 是 相 
- y 


图 4 KG 中 三 元 组 的 三 
Fig.4 Descript 

三 重 上 下 文 (h,tt) 由 头 实体 的 令 

的 路 径 上 下 文 组 成 ， 可 以 形式 化 为 
Ch, r,t) = Cy (h) O C, Q7) 


e3 —rr > €4 
& I Facti 


ion of triple context of triples in KG 


D 


| €5 


居 上 下 文 和 实体 对 中 ，1b 


(13) 


AHE T6 REX T BU M ERI KIE KG 较 难 实现 相似 实体 的 


ROE GARE. 


TransE 不 能 快速 收敛 的 问题 指 的 是 在 进行 模型 训练 时 ， 


随机 训练 的 数据 ， 有 些 会 攻 


问题 ， 


要 有 一 种 解决 方法 ， 即 


为 不 容易 训练 ， 造 成 数据 很 久 得 
不 到 训练 ， 导致 模型 质量 不 高 。 针 对 TransE 不 能 快速 收敛 的 
前 ， 在 链接 预测 和 三 元 组 分 类 任务 做 得 


比较 好 的 主 


自 适 应 的 筛选 训练 数据 方 


法 。 这 种 方 
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法 简称 AST_NZL 方法 ， 算 法 思想 是 : 首先 根据 概率 选择 关 表 1 列 出 了 用 于 实体 关系 的 常用 数据 库 集 ,比较 因素 包 


系 类 别 ， 其 次 从 选 定 的 分 组 中 随机 选择 一 个 实例 进行 训练 。 括 关系 、 实 体 、 训 练 集 、 验 证 集 、 测 试 集 。 
根据 训练 效果 ， 对 每 组 实例 被 选择 的 概率 进行 自 适应 调整 。 3.2 基于 TransE 表示 学 习 算法 的 评价 指标 


这 种 方法 的 优点 是 加 入 了 “损失 非 零 ”机 制 ， 好 处 是 以 便 相 通过 对 收集 到 的 综述 进行 分 类 与 整理 ， 将 量化 表示 学 习 
对 更 加 准确 的 估计 分 组 概率 ;缺点 是 没有 探究 关系 分 组 。 的 指标 分 为 正确 实体 的 平均 排名 、 正 确实 体 排 在 前 10 名 的 


边缘 识别 能 力 弱 的 问题 指 的 是 关系 表示 的 能 力 弱 ， 并 且 ”概率 和 准确 率 的 评价 指标 S51“ 沼 。 其 中 ， 正 确实 体 的 平均 排名 
其 他 关系 的 噪声 明显 。 针 对 这 个 问题 ， 目 前 ， 在 链接 预测 和 ” 的 评价 指标 、 正 确实 体 排 在 前 10 名 的 概率 的 评价 指标 主要 


三 元 组 分 类 任务 做 得 比较 好 的 主要 有 一 种 解决 方法 : 巾 入 通 。 是 衡量 链接 预测 的 效果 ， 准 确 率 的 评价 指标 主要 衡量 三 元 组 
用 翻译 框架 方法 。 这 种 方法 简称 GTrans 方法 ， 算 法 思想 是 : 分 类 的 效果 [55]。 

每 个 实体 由 两 种 状态 (本 征 状态 和 模仿 ) 组 合 来 解释 ， 本 征 态 a) 正确 实体 的 平均 排名 

表示 实体 固有 拥有 的 特征 ， 而 模仿 表示 受 关联 关系 影响 的 特 正确 实体 的 平均 排序 得 分 简称 MeanRank， 此 值 越 小 越 
征 。 尝 试 首先 将 每 个 实体 分 别 建 模 为 两 种 状态 的 组 合 来 反映 ”好 ， 这 是 衡量 链接 预测 的 重要 指标 69。 

其 内 在 和 外 在 属性 ， 然 后 通过 为 不 同 的 实体 分 配 不 同 的 权重 b) 正确 实体 排 在 前 10 名 的 概率 

来 构建 动态 关系 空间 。 方 法 的 优点 是 为 每 个 关系 构造 一 个 动 正确 实体 排 在 前 10 名 的 概率 简称 Hits@10, 此 值 越 大 越 
态 关 系 空间 ， 好 处 是 使 模型 具有 灵活 性 ， 而 且 还 减少 了 来 自 — 好 ， 这 是 衡量 链接 预测 的 重要 指标 。 

其 他 关系 空间 的 噪声 ， 缺 点 是 仅 考虑 从 单个 三 元 组 中 提取 。 c) 准确 率 


总 体 来 看 ，TransRD 方法 、TransE-SNS 方法 、AST_NZL 三 元 组 分 类 任务 使 用 准确 率 作为 评价 指标 ， 计 算 方法 如 
方法 、GTrans 方法 在 分 别处 理 TransE 泛 化 能 力 差 、 生 成 的 负 下 所 示 。 
例 三 元 组 大 部 分 都 是 低 质 量 、 不 能 快速 收 化 、 边 缘 识 别 能 acc- P+ (17) 
Y 弱 问 题 上 都 发 挥 了 各 自 的 优势 ， 提 高 了 预测 的 效果 。 但 是 ， Noos + Naes 
^ 由 于 这 些 问题 属于 TransE 领域 的 难点 ， 因 此 ， 关 于 这 方面 的 其 中 ，7, 表示 预测 正确 的 正 例 三 元 组 个 数 ， 表示 预测 正确 


研究 ， 取 得 实质 性 突破 的 并 不 多 。 今 后 ， 这 些 方面 的 研究 方 的 负 例 三 元 组 个 数 ， we 和 Ns 分 别 表示 训练 集中 的 正 例 三 


向 将 是 在 上 述 方法 的 基础 上 再 结合 比较 热门 的 注意 力 机 制 ， 元 组 和 负 例 三 元 组 的 个 数 。 ACC 越 高 ， 表 示 模 型 在 三 元 组 分 
以 及 卷 积 神经 网 络 来 寻求 突破 。 类 这 一 任务 上 的 效果 越 好 5759。 


d) 运行 时 间 


9 表示 学 习 算 法 实验 — 
3 &T TransE 的 表示 学 习 算法 实验 运行 时 间 + 主 要 比较 不 同方 法 的 效率 ,此 值 越 小 越 好 [aol 


本 节 介 绍 目前 常用 的 基于 TransE 的 表示 学 习 算 法 性 能 3.3 基于 TransE 的 表示 学 习 算 法 的 分 析 与 比较 
的 公用 数据 集 , 以 及 定量 地 衡量 算法 性 能 的 各 种 评价 指标 ,并 基于 TransE 的 表示 学 习 典 型 算法 研究 工作 的 分 析 与 比 
对 前 述 各 种 类 型 的 基于 TransE 表示 学 习 算 法 进行 了 分 析 、 总 较 结 果 见 表 2, 主 要 比较 因素 包括 算法 分 类 、 算 法 名 称 、 发 表 
结 和 比较 ,最 后 ,通过 实验 展示 各 种 算法 的 效果 [49。 年 份 、 算 法 测试 用 数据 集 、 算 法 评价 指标 、 算 法 思想 、 优 缺 
3.1 常用 数据 集 A192, 63], 
为 了 科学 、 一 致 地 评价 各 类 基于 TransE 的 表示 学 习 方法 3.4 基于 TransE 的 表示 学 习 算法 实验 
的 性 能 560, 需要 使 用 标准 的 实体 关系 数据 集 进 行 测试 和 对 比 ， 为 了 加 深 对 上 述 基于 复杂 关系 的 方法 、 基 于 关系 路 径 的 
目前 ,常用 的 实体 关系 数据 集 见 表 1, 包 括 : 方法 、 基 于 图 像 信 息 方 法 、 基 于 其 他 方面 的 方法 中 各 种 算法 
a) WN18: 是 WordNet 知识 库 的 一 个 子 集 , 有 关系 18 个 ， 的 理解 ， 本 节 将 会 对 这 些 方法 的 实验 进行 对 比 、 分 析 与 总 结 
实体 40943 个 。 [64-60]。 实验 选 取 公测 数据 集中 的 模型 作为 对 象 ， 实 验 分 为 两 
b) FB15K: 是 FreeBase 中 一 个 相对 稠密 的 子 集 ， 有 关系 部 分 : 第 1 部 分 针对 链接 预测 ( 见 表 3)， 第 2 部 分 针对 三 元 
1345 个 ， 实 体 14951 个 。 组 分 类 ( 见 表 4)。 
c) WN11: 是 WordNet 知识 库 的 一 个 子 集 , 有 关系 11 个 ， 实验 的 参数 设置 为 : 学 习 速率 a={0.002, 0.005, 0.01}, 
实体 38696 个 。 差距 yx={0.25，0.5，1，2}， 表 示 维 度 < ={50,75,100}, 权 重 7 
d) FB13: 是 FreeBase 中 一 个 相对 稠密 的 子 集 ， 有 关系  ={0.05, 0.0625, 0.25, 1.0} ， 训 练 批 次 的 大 小 
13 个 ， 实 体 75043 个 。 B={20,75,200,1200,4800}. MÆ 3 可 以 看 出 ， 在 做 链接 预测 
e)FB40K: 是 FreeBase 中 一 个 相对 稠密 的 子 集 ， 有 关系 实验 时 ， 当 采用 WN18 作为 实验 数据 集 测 试 MeanRank 时 ， 
1336 个 ， 实 体 39528 个 。 TransD、 NTransGH , TransGraph、 PaSKoGE, TransRD, TransE- 
f) MPBC 20: 有 关系 20 个 ， 实 体 175624 个 。 SNS, GTrans 相 较 于 TransE 方法 效果 更 好 ， 其 中 ，PaSKoGE 
g) FBI5K-237: 是 FreeBase 中 一 个 子 集 , 有 关系 237 个 ， 方法 的 效果 最 好 ， 当 测试 Hits@10 时 ，STransH、TransD、 
实体 14541 个 。 NTransGH、 TransGraph、 PaSKoGE、 TransRD、 TransE-SNS , 
Al 实体 关系 常用 数据 得 AST_NZL、GTrans 的 效果 相 较 于 TransE 方法 效果 更 好 ， 
Tab. 1 Common data sets of entity relationship tH, NTransGH 效果 最 好 [769]。 当 采用 FB15SK 作为 实验 数据 
数据 集 关系 /个 实体 /个 训练 集 /个 验证 集 / 个 测试 集 5/ 个 集 测 试 MeanRank 时 ，STransH 、TransD 、NTransGH 、 
WNI8P! 18 40943 141442 5000 5000 TransGraph, TransAH, PTransE, PaSKoGE, TCE, TransRD, 
FBISKI 1345 14951 483142 50000 59071 TransE-SNS, GTrans 方法 相 较 于 TransE 效果 更 好 ， 其 中 ， 
WNI11U! 11 38696 112581 2609 10544 TCE 效果 最 好 [070; 当 测 试 Hits@10 时 ， 所 有 的 方法 都 要 好 
FB13U! 13 75043 316232 5908 23733 T TransE， 但 是 ，PaSKoGE 效果 最 好 。 综 上 所 述 ，PaSKoGE 
FB40KU9 1336 39528 370648 67946 96678 方法 、TCE 方法 、NTransGH 方法 值得 去 推广 ， 并 且 今 后 的 
MPBC 20Pq 20 175624 649439 73693 72828 研究 可 以 在 这 两 种 方法 的 基础 上 继续 进行 拓展 ， 不 断 提 高 做 


FB15K-237Ps 237 14541 272115 17535 20466 链接 预测 任务 的 效果 。 
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表 2 基于 TransE 表示 学 习 算法 对 比 


Tab.2 Comparison of representation learning algorithms based on transe 


分 类 名 称 ”发 表 年 份 数据 集 评价 指标 算法 思想 优 缺 点 
优点 : 学 习 的 参数 少 , ip 算 复杂 
度 低 ， 操 作 简 单 。 缺 点 : 无 法 处 理 
TransE 方 FBISK, WNI8, . 基于 欧式 距离 上 的 偏 移 量 来 衡量 实体 之 AN b RN ip IB HN 
. TransE*! 2013 MeanRank, Hits@10 , _、 复杂 关系 、 负 例 三 元 组 的 质量 低 、 嵌 
法 FB13, WNII 间 的 语义 相似 度 RUN n NI 
入 模型 不 能 快速 收敛 、 泛 化 能 力 差 、 
边缘 识别 能 力 差 等 
分 别 在 实体 空间 和 关系 空间 建 模 ， 并 采 优点 : 引入 投影 到 特定 关系 超 平面 的 
FBISK, WNI8, MeanRank、 
STransH 2019 : 单 层 神经 网 络 的 非 线性 操作 来 加 强 实 机 制 。 缺 点 : 没有 将 关系 路 径 考 虑 在 
WN11、 FB13 Hits@10, ACC » ES 
本 和 关系 的 语义 联系 
使 用 两 个 向 量 来 表示 命名 的 符号 对 象 ( 实 优点 : 提出 一 种 动态 变化 矩阵 的 方 
Tidi is FB15K, WNI8, MeanRank、 本 和 关系 )。 第 一 个 表示 一 个 实体 (关系 ) 法 ， 运 算 速度 快 。 缺 点 : 忽略 了 关系 
ran: 
2 FBI3, WNII Hits@10、ACC ”的 含义 ， 另 一 个 用 于 动态 构造 映射 矩 ”的 内 在 相关 性 ， 参 数 过 多 ， 知 识 共 享 
阵 困难 
基于 复杂 结合 用 于 将 关系 建 模 为 广义 超 平面 的 番 
TAA FB15K, WNI8, MeanRank、 Usi: 引入 了 两 层 神 经 网 络 来 定义 得 
关系 的 方 NTransGHI7 2019 dL 译 操作 的 翻译 机 制 ， 以 及 用 于 捕获 实体 Age. us. GERUS 
* its x PKI A o Ah: qATRIRHJZ 
法 与 关系 之 间 更 复杂 交互 的 神经 网 络 ü 
采用 随机 梯度 下 降 方法 来 求解 目标 函数 优点 : 融合 了 KG 的 网 络 结构 特征 。 
FBISK, WNI8, MeanRank、 ui 
TransGraphl! 2019 . L 的 最 优化 问题 ， 通 过 计算 梯度 实现 向 缺点 : 忽略 了 实体 的 描述 文本 和 互联 
FB13、WN11 Hits(10, ACC O 、 i 
量 和 参数 的 更 新 网 文本 等 信息 
首先 建立 特定 关系 的 超 平面 模型 ; 其 ”优点 : 引入 面向 特定 关系 的 超 平面 模 
— aiik FBISK, WNI8, MeanRank、 次 ， 将 三 元 组 中 的 头 实体 与 尾 实 体 谍 入 型 。 缺 点 : 没有 考虑 在 文本 关系 知识 
rans. 
FBI3, WNII Hits@10、ACC ”到 这 种 超 平面 ， 从 而 进行 实体 关系 的 推 中 的 抽取 ， 以 及 实体 聚 类 等 方面 的 任 
理 务 
优点 : 使 用 与 关系 路 径 连接 的 实体 对 
将 关系 路 径 视 为 实体 之 间 的 转换 ， 以 ; Sue hi BE s i 
MeanRank, en a a 从 知识 库 中 构建 三 元 组 。 缺 点 : 只 考 
PTransEII9 | 2015 FB15K, FB40K : 行 表 示 学 习 ， 通 过 关系 和 能 入 的 语义 组 成 ，， 、、 SANE P 
aie Hits@10、ACC KETER 虑 直接 关系 与 关系 之 间 的 推理 模式 ， 
ied oia 没有 考虑 关系 之 间 有 许多 复杂 的 模式 
i 对 于 每 个 路 径 ， 它 通过 对 任何 给 定 实体 
法 b ACHT bac. 提出 了 特定 于 路 径 的 嵌入 方 
. 对 的 关系 和 多 步 关 系 路 径 之 间 的 相关 性 、 H S . 
PaSKoGEP? 2018 FB15K, WN18 Hits@10、t p 法。 缺点 : 需要 花费 更 多 的 时 间 来 另 
进行 编码 ， 来 自 适应 地 确定 其 基于 边际 外 计算 路 径 特定 的 余 晶 
T HET JRE 
的 损失 函数 D 
KAHENE RARA TransE 与 动态 映射 矩 优点 : ELER ERA SIMI AE 
MUCH 2m WNI8-IMG, MeanRank, 阵 嵌 入 模型 TransD 相 结合 的 知识 表示 学 语义 空间 。 缺 点 : 对 迭代 过 程 中 新 找 
基于 图 像 WN9-IMG Hits@10、Hits@1 JEH, [E BUS H BEERA SIMIKAE PREKARA EV, X5 
信息 的 方 语义 空间 代 效 果 偏 低 
法 优点 : 能 很 好 利用 KG 中 的 结构 ， 特 
TCEP2] 2017 FB15K MeanRank、Hits@10 利 用 了 KG 中 每 个 三 元 组 的 上 下 文 别 是 三 元 组 周围 的 局 部 结构 。 缺 点 : 
在 基线 上 不 如 经 典 的 翻译 模型 
优点 : 使 用 同一 对 投影 矩阵 来 捕获 关 
FBISK, WNIS, 0 ERRET, HERPA NL > 
TransRDP9 — 2019 MeanRank, Hits@10 系 。 缺 点 : 没 很 好 利用 KG 中 的 关系 
MPBC 20 对 等 转换 矩阵 
路 径 信息 
先 利用 K-Means 聚 类 算法 对 KG 中 的 实 优点 : 将 相似 性 负 采 样 与 TransE 模型 
n TransE- FBISK, WNI8, . 体 进行 分 组 ， 其次， 随机 从 正 例 三 元 组 相 结合 。 缺 点 : 相似 性 负 采 样 对 于 较 
基于 其 他 2019 MeanRank、Hits@10 . RO 
FRA SNSU?I FB13, WNII 中 选择 一 个 实体 去 换 头 实体 ， 尾 实体 也 JARKE KG 较 难 实现 相似 实 
面世 t MES NEN 
" 是 采用 同样 的 方法 进行 蔡 换 体 的 聚 类 与 采样 
FB15K-237、 . 根据 概率 选择 关系 类 别 ， 其 次 从 选 定 的 优点 : 加 入 了 “损失 非 零 ”机制 。 
AST NZLPS 2019 MeanRank、Hits@10 
FBISK, WNI8 分 组 中 随机 选择 一 个 实例 进行 训练 缺点 : 没有 探究 关系 分 组 
点 ; 为 每 个 关系 构造 一 个 动态 关系 
FBISK, WNI8, MeanRank、 为 每 个 实体 h( 或 b 定 义 两 个 嵌入 向 量 ， E E E 
GTransP? 2018 . es 空间 。 
FB13, WNII Hits@10、ACC ”为 每 个 关系 上 定义 三 个 嵌入 向 量 


缺点 : 仅 考 虑 从 单个 三 元 组 中 提取 


从 表 4 可 以 看 出 ,在 做 三 元 组 分 类 实验 时 , 当 采 用 WN11 更 好 ， 其 中 ，TransD 效果 最 好 ; 当 采 用 FB15 HI, STransH, 
时 ，STransH、TransD、NTransGH、 TransGraph、TransAH、 TransD、NTransGH、TransAH、TransE-SNS 相 较 于 TransE 77 
TransE-SNS 相 较 于 TransE 方法 效果 更 好 ， 其 中 ，NTransGH 法 效果 更 好 ， 其 中 ，NTransGH 效果 最 好 [2733。 综 上 所 述 ， 
效果 最 好 ; 当 采 用 FB13 时 , STransH、TransD、NTransGH、 NTransGH 方法 和 TransD 方法 值得 推广 ， 并 且 今 后 的 研究 可 
TransGraph、TransAH、TransE-SNS 相 较 于 TransE 方法 效果 以 在 这 两 种 方法 的 基础 上 继续 进行 拓展 ， 不 断 提 高 做 三 元 组 
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分 类 任务 的 效果 。 量 实 验 表明 ， 这 种 模型 仍 有 待 进一步 提高 。 
表 3 链接 预测 实验 结 2) 基 于 单 层 神经 网 络 的 更 少 参数 的 方法 
Tab.3 Link prediction experiment results 可 以 通过 使 用 深度 神经 网 络 模型 增强 实体 描述 的 众 入 来 
WNI8 FBISK 扩展 TransE。 但 是 ， 使 用 这 种 方法 需要 额外 的 空间 来 存储 内 
Method MeanRank( 名 次 )Hits@1006) MeanRank( 名 次 ) Hits@10(%) 层 的 参数 ， 并 且 依 赖 于 更 多 的 超 参 数 进行 调整 。 因 此 ， 该 文 
Raw Filt Raw Fit Raw Filt Raw Filt 创建 了 一 个 单 层 的 更 少 参数 的 模型 。 该 模型 通过 最 大 化 观察 
TransEBI 263 251 754 892 243 125 349 47.1 到 的 知识 的 对 数 似 然 性 ， 测 量 每 个 三 元 组 的 概率 以 及 相应 的 
STransHID 347 330 771 90.6 196 68 46.6 69.5 KAHR, AARIKE, K RAR h E TF 
TransD'U& 224 212 79.6 922 194 91 534 773 入 。 实 验 表 明 ， 该 模型 在 学 习 更 好 的 知识 库 分 布 式 表 示 时 有 
NTransGHIDT 165 150 87.1 978 139 51 61.7 85.6 一 定 的 研究 意义 。 
TransGraph*! 181 170 836 92 153 67 583 81.6 3) 基 于 在 单独 的 实体 空间 和 关系 空间 中 构建 实体 和 关系 
TransAHUs! — 182 171 728 829 141 65 581 824 BUNT E 
PTransEl!?l - - -  - 20] 58 514 846 诸如 TransE 之 类 的 模型 通过 将 关系 视 为 从 头 实体 到 尾 
PaSKoGEpzo — . 813. = 950 - 53.1 - 880 实体 的 翻译 来 构建 实体 和 关系 能 入 ， 这 些 模型 只 是 将 实体 和 
ITMEADPH F " "I . - sow 关系 放 在 相同 的 语义 空间 内 。 实 际 上 ， 一 个 实体 可 能 具有 多 
TCEP2 - : - - H0 25 553 831 个 方面 ， 各 种 关系 可 能 集中 在 实体 的 不 同方 面 ， 这 使 得 公共 
TransRDP26 " 194 - 955  - 68 - 789 空间 不 足以 进行 建 模 。 因 此 ， 该 文 建议 TransR 在 单独 的 实体 
TransE-SNSD7T 220 208 802 940 198 56 489 80.1 zs [RERO Z8 A RI PUR SE SECO ZR RUN SUB OEDSDYH KA 
AST NZLES — - 490 - 932 - 142 = 714 从 实体 空间 投影 到 对 应 的 关系 空间 ， 然 后 在 投影 的 实体 之 间 
GTransp 215 202 802 93.5 189 85 529 753 B HÉRERKEAEO]HUN. KUER, SPREA S WEE 2b 
44 不 同 模型 的 三 元 组 分 类 精度 得 到 完善 。 


Tab.4 Classification accuracy of triples of different models 
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method WN11(%) FB13(%) FB15K(%) 
TransEI 75.9 70.9 79.7 TransE 模型 除了 存在 无 法 有 效 处 理 一 对 多 、 多 对 一 、 多 
STransH! 79.6 852 89.6 对 多 的 关系 ,以 及 自 反 关系 ， 还 存在 处 理 图 像 信息 效果 差 、 负 
TransDU9 86.4 89.1 88.0 METAREN RARE BE Dos OS. 124588 7125. 
NTransGHO7I 88.8 87.5 92.9 边缘 识别 能 力 差 等 问题 。 针 对 这 些 问题 ， 该 文 以 TransE 方法 
TransGraph!?! 83.7 86.5 - 存在 问题 为 分 类 标准 , 将 基于 TransE 的 表示 学 习 方法 分 为 基 
TransAHU! 83.8 84.5 89.2 于 复杂 关系 的 方法 、 基 于 关系 路 径 的 方法 、 基 于 图 像 信 息 的 
PTransE09] - - 方法 ， 以 及 基于 其 他 方面 的 方法 这 4 种 类 型 。 为 了 对 比 每 种 
PaSKoGEP?! - - - 方法 的 有 效 性 ， 分 别 在 链接 预测 和 三 元 组 分 类 实验 上 做 了 对 
ITMEAP! - - - 比分 析 ， 下 一 步 将 在 实体 对 齐 上 进行 有 效 性 的 测试 。 
TCEP7! - s : " 
TransRDP9] - - - 参考 文献 : 
TransE-SNS?7 83.2 87.1 86.6 [1] Sabina K, Leonids N, Natalya P, Vladimir U. Colleen Heinemann. 
AST NZLP*53 - - - Intelligent Collaborative Educational Systems and Knowledge 
GTransP?! 84.0 87.1 95.5 Representation [J]. Procedia Computer Science, 2017 (104): 166-173. 
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